home *** CD-ROM | disk | FTP | other *** search
/ Internet Publisher's Toolbox 2.0 / Internet Publisher's Toolbox.iso / internet / ntserver / wtsource / waisserv.c < prev    next >
Encoding:
C/C++ Source or Header  |  1994-11-16  |  31.5 KB  |  1,067 lines
  1. /* WIDE AREA INFORMATION SERVER SOFTWARE    
  2.    No guarantees or restrictions.  See the readme file for the full standard 
  3.    disclaimer.
  4.    5.29.90  Harry Morris, morris@think.com
  5. */
  6.  
  7. /* Copyright (c) CNIDR (see ../COPYRIGHT) */
  8.  
  9.  
  10. /* this file is a server process for a unix machine that takes input from 
  11.    standard in or from a socket and searches the local search engine on the 
  12.    unix box.
  13.    originally written by harry morris.
  14.    modified by brewster kahle. 7/90
  15.    6.xx.90  Brewster - initial implementation of stdio interface
  16.    7.xx.90  Patrick Bray - support for headers and forking processes
  17.    90.07.31 Ephraim - support for logging 
  18.  
  19.    91.03.03     Jonathan - set searchLog to log_out.
  20.    91.05.23 Jonathan - added fork process for indexer.
  21.                            Fixed version display so it exits.
  22.    91.05.25     Jonathan - added setuid.
  23.    
  24.    Tue Jul  9 12:11:02 1991 -- Michael Haberler mah@wu-wien.ac.at
  25.  
  26.                 Added semi-intelligent INFO database indexing (only done if
  27.         any of the .src files is newer than INFO.dct)
  28.         
  29.         Locking against multiple concurrent INFO rebuilds if 
  30.         running under inetd
  31.  
  32.         Use scandir() for directory operations
  33.  
  34.         Works under inetd as well as standalone. Here are my inetd.conf
  35.         entries (not the missing userid in the Ultrix inetd.conf!):
  36.  
  37.    hpux 7.0/800, Interactive/386 2.2.1:
  38.     z3950 stream tcp nowait root /usr/local/etc/waisserver waisserver -s \
  39.         -d /usr/logins/mah/wais-sources
  40.  
  41.    Ultrix 4.1:
  42.     z3950 stream tcp nowait /usr/local/etc/waisserver waisserver -s \
  43.         -d /usr/logins/mah/wais-sources
  44.  
  45.    Also, add the next line to /etc/services, and tickle your YP server:
  46.     z3950           210/tcp         # wide area information server (wais)
  47.  
  48.  * $Log: waissrch.c,v $
  49.  * Revision 1.1  1994/03/29  14:11:07  shangjiej
  50.  * Initial revision
  51.  *
  52.  * Revision 1.3  93/07/21  18:52:39  warnock
  53.  * Renamed from server.c.
  54.  * Added STELAR-specific patches
  55.  * 
  56.  * Revision 1.2  93/07/01  19:19:53  warnock
  57.  * gethostname -> mygethostname
  58.  * 
  59.  * Revision 1.1  1993/02/16  15:05:35  freewais
  60.  * Initial revision
  61.  *
  62.  * Revision 1.48  92/05/10  14:47:39  jonathan
  63.  * Update for release.
  64.  * 
  65.  * Revision 1.47  92/05/06  17:34:01  jonathan
  66.  * Changed auto-indexing of .src files to use filename_finish_header_function.
  67.  * 
  68.  * Revision 1.46  92/05/04  17:18:32  jonathan
  69.  * Fixed use of merge_pathname in creating INFO database.
  70.  * 
  71.  * Revision 1.45  92/04/28  15:19:18  jonathan
  72.  * Added decoding of IP address to DNS name in init message handler.
  73.  * 
  74.  * Revision 1.44  92/03/26  18:26:41  jonathan
  75.  * Added extra arguments to index_text_file call.
  76.  * 
  77.  * Revision 1.43  92/03/07  19:41:47  jonathan
  78.  * Added IBM defines, courtesy mycroft@hal.gnu.ai.mit.edu,
  79.  * 
  80.  * Revision 1.42  92/03/05  07:07:58  shen
  81.  * add two more dummy arguments to call to init_search_engine
  82.  * 
  83.  * Revision 1.41  92/02/27  09:58:50  jonathan
  84.  * Put back in setting of core limit to max value, when SET_LIMIT is defined.
  85.  * 
  86.  * Revision 1.40  92/02/24  10:07:41  jonathan
  87.  * Removed reporting functions.
  88.  * 
  89.  * Revision 1.39  92/02/21  12:27:15  jonathan
  90.  * Changed logging of segmentation violation and bus errors to mark log with
  91.  * an error code, and close code.
  92.  * 
  93.  * Revision 1.38  92/02/21  11:00:45  jonathan
  94.  * Added wais_log_level
  95.  * 
  96.  * Revision 1.37  92/02/19  10:16:25  jonathan
  97.  * Added build_catalog to auto-indexer.
  98.  * 
  99.  * Revision 1.36  92/02/16  12:33:21  jonathan
  100.  * Removed code refering to NOINETNTOA, since we should use inet_ntoa.
  101.  * 
  102.  * Revision 1.35  92/02/16  12:05:18  jonathan
  103.  * Added code for GCC incompatibility in inet_ntoa (passing structure as
  104.  * pointer).
  105.  * 
  106.  * Revision 1.34  92/02/14  09:07:34  jonathan
  107.  * Set MAXNAPTIME to 0 so it won't sleep.  Changed the WLOG_ERROR to
  108.  * WLOG_WARNING in the log entry.
  109.  * 
  110.  * Revision 1.33  92/02/12  13:44:20  jonathan
  111.  * Added "$Log" so RCS will put the log message in the header
  112.  * 
  113.  * 
  114.  */
  115.  
  116. #define SERVER_DATE "Fri April 9 1993"
  117.  
  118. #ifndef lint
  119. static char *RCSid = "$Header: /archives/stelar/src/freeWAIS/freeWAIS-0.2/ir/RCS/waisserver.c,v 1.3 93/07/21 18:52:39 warnock Exp $";
  120. #endif
  121.  
  122. #define INFO_DICT    "INFO.dct"
  123. #ifdef WIN32
  124. /* char LOCKFILE[MAX_PATH+1]; move further down as MAX_PATH undefined here */
  125. #define NAPTIME     1000        /* milliseconds */
  126. #else
  127. #define LOCKFILE    "/tmp/INFO.lock" /* while re-indexing INFO */
  128. #define NAPTIME     1            /* seconds */
  129. #endif
  130. #define MAXNAPTIME  0       /* Don't wait, just go on. */
  131.  
  132. #include "server.h"
  133. #include "sockets.h"
  134. #include <sys/types.h>
  135. #include <sys/stat.h>
  136. #ifdef ULTRIX
  137. /* #include <sys/file.h> */
  138. #include <fcntl.h>
  139. #else
  140. #ifdef _IBMR2
  141. #include <fcntl.h>
  142. #else /* ! _IBMR2 */
  143. #ifdef USG
  144. #include <sys/fcntl.h>
  145. #else
  146. #ifdef WIN32
  147. #include <fcntl.h>
  148. #include <io.h>
  149. #else
  150. #include <sys/file.h>
  151. #endif /* WIN32 */
  152. #endif
  153. #endif /* _IBMR2 */
  154. #endif /* else ultrix */
  155. #ifdef SYSV         
  156. #define SIGCHLD SIGCLD
  157. #endif
  158.  
  159. #ifdef sgi
  160. #include <sys/signal.h>
  161. #else
  162. #include <signal.h>
  163. #endif
  164.  
  165. #include <string.h>
  166. #include "irdirent.h"
  167. #include "panic.h"
  168. #include "ustubs.h"
  169. #include "transprt.h"
  170. #include "wmessage.h"
  171. #include "ir.h"
  172. #include "wprot.h"
  173. #include "cutil.h"
  174. #include "futil.h"
  175. #include "irext.h"
  176. #include "irsearch.h"
  177.  
  178. /* to create the INFO index */
  179. #include "irtfiles.h"
  180. #include "irfiles.h"
  181. #include "irhash.h"
  182. #include "version.h"
  183.  
  184. #ifdef WIN32
  185. char LOCKFILE[MAX_PATH+1];
  186. void stop_list_file(char *filename);
  187. boolean server_security(char *index_directory, char *database_name);
  188. #endif
  189. #ifdef DEBUG
  190.   FILE *debug_log;
  191. #endif
  192.  
  193. static long bufferSize = BUFSZ; /* how much we are using
  194.                                    (we get one of these per process) */
  195.  
  196.  
  197. extern char host_name[255], host_address[255];
  198.  
  199. /* Bitmap association table -- LEB/HSTX 8/5/92 */
  200. #ifdef STELAR
  201. #define LOOKUP_TABLE /archives/stelar/abs/wais/bitmap.table
  202.  
  203. char *bitmap_table = "LOOKUP_TABLE";
  204.  
  205. /* char *bitmap_table = "/archives/stelar/abs/wais/bitmap.table"; */
  206. #endif /* STELAR */
  207.  
  208. /*---------------------------------------------------------------------------*/
  209. #ifdef WIN32
  210. #define TIMEOUT_LENGTH 3600000 /* one hour timeout. */
  211. #else
  212. #define TIMEOUT_LENGTH 3600 /* one hour timeout. */
  213. #endif
  214. #define IDLE_TIME "1 hour"
  215.  
  216. void
  217. serve_client(in,out, index_directory)
  218. FILE* in;
  219. FILE* out;
  220. char *index_directory;
  221. { 
  222.   char buf[BUFSZ];      /* contains the message and header */
  223.   char *bufPtr ;        /* points at the begining of the z3950 */
  224.   long size;            /* bytes in the z3950 message */
  225.   WAISMessage header;       /* for storing the header */
  226.   long i;
  227.   long bytesLeft;
  228.   long nextChar;
  229. #ifndef WIN32
  230.   struct itimerval new, old;
  231.  
  232.   new.it_interval.tv_sec = 0;
  233.   new.it_interval.tv_usec = 0;
  234.   new.it_value.tv_sec = TIMEOUT_LENGTH;
  235.   new.it_value.tv_usec = 0;
  236.  
  237.   getitimer(ITIMER_REAL, &old);
  238.   while (TRUE)
  239.     {
  240.       /* try to read the header */
  241.       for (i = 0; i < HEADER_LENGTH; i++)
  242.     { 
  243.       setitimer(ITIMER_REAL, &new, NULL);
  244.       nextChar = fgetc(in);
  245.       if (nextChar == EOF)  /* my connection exited, so will I */
  246.         { 
  247.           return;
  248.         }
  249.       else
  250.         buf[i] = (char)nextChar;
  251.     }
  252.  
  253.       setitimer(ITIMER_REAL, &old, NULL);
  254. #else
  255.   UINT timerid;
  256.   while (TRUE)
  257.     {
  258.       /* try to read the header */
  259.       timerid = SetTimer(NULL, 0, TIMEOUT_LENGTH, NULL);
  260.       for (i = 0; i < HEADER_LENGTH; i++)
  261.       { 
  262.         nextChar = fgetc(in);
  263.         if (nextChar == EOF)  /* my connection exited, so will I */
  264.         { 
  265.             KillTimer(NULL, timerid);
  266.             return;
  267.         } else
  268.           buf[i] = (char)nextChar;
  269.       }
  270.       KillTimer(NULL, timerid);
  271. #endif /* WIN32 */
  272.  
  273.       /* parse the header */
  274.       readWAISPacketHeader(buf,&header);
  275.  
  276.       /* make sure we have the right version.  
  277.      If we dont, we dont know what to do. */
  278.       if (header.hdr_vers > HEADER_VERSION)
  279.     panic("Incompatable header versions (Current version: %c, supplied version: %c.", 
  280.           HEADER_VERSION, header.hdr_vers) ;
  281.  
  282.       /* determine the size of the z3950 message */
  283.       {
  284.     char length_array[11];
  285.     strncpy(length_array, header.msg_len, 10);
  286.     length_array[10] = '\0';
  287.     size = atol(length_array);
  288.       }
  289.  
  290.       /* set bufPtr to start the z3950 message */
  291.       bufPtr = buf + HEADER_LENGTH ;
  292.  
  293.       /* read the z3950 message */
  294. #ifdef WIN32
  295.       timerid = SetTimer(NULL, 0, TIMEOUT_LENGTH, NULL);
  296.       for (i = 0; i < size ; i++) {
  297.           buf[i + HEADER_LENGTH] = (char)fgetc(in) ;
  298.       }
  299.       KillTimer(NULL, timerid);
  300. #else
  301.       for (i = 0; i < size ; i++) {
  302.     setitimer(ITIMER_REAL, &new, NULL);
  303.     buf[i + HEADER_LENGTH] = (char)fgetc(in) ;
  304.       }
  305. #endif
  306.  
  307.       rewind(in);
  308.  
  309.       /* decode the z3950 if necessary */
  310.       transportDecode((long)header.encoding,bufPtr,&size);
  311.      
  312.       /* XXX handle compression options */
  313.  
  314.       /* process it the z3950 */
  315.       bytesLeft = bufferSize;
  316.  
  317.       size = interpret_buffer(bufPtr,size,bufPtr,bytesLeft,
  318.                   &bufferSize,(long)header.hdr_vers,
  319.                   index_directory); 
  320.  
  321.       /* re-encode the message if necessary */
  322.       transportCode((long)header.encoding,bufPtr,&size); 
  323.  
  324.       /* XXX handle compression options */
  325.  
  326.       /* write the new header */
  327.       writeWAISPacketHeader(buf,size,
  328.                 (long)header.msg_type,header.server,
  329.                 (long)header.compression,(long)header.encoding,
  330.                 (long)header.hdr_vers);
  331.  
  332.       /* write the whole response to the output file */
  333.       for (i = 0; i < size + HEADER_LENGTH; i++)
  334.     fputc(buf[i],out) ;
  335.  
  336.       fflush(out);      /* flush any file buffers */
  337.       rewind(out);      /* reset the file for read */
  338.  
  339.     }
  340. }
  341.  
  342. /*---------------------------------------------------------------------------*/
  343.  
  344. #ifndef ISC
  345. #ifndef LINUX
  346. static void breakKey _AP((long s1,long s2,struct sigcontext* s3,char* s4));
  347. #endif
  348. #endif
  349.  
  350. static void
  351. breakKey (s1,s2,s3,s4)
  352. long s1;
  353. long s2;
  354. struct sigcontext *s3;
  355. char *s4;
  356. {
  357.   if(0 != finished_search_engine())
  358.     panic("unable to close search engine");
  359.   panic ("got a ^c");
  360.   signal (SIGINT, (void *)breakKey);
  361. }
  362.  
  363. /*---------------------------------------------------------------------------*/
  364.  
  365. void
  366. childhandler(sig, code, scp, addr)
  367. long sig, code;
  368. struct sigcontext *scp;
  369. char *addr;
  370. {
  371. #ifndef WIN32
  372.   wait(NULL);           /* give the kid a decent burial */
  373.   signal (SIGCHLD, childhandler);  /* Dave Judd - IRIX requires resetting signal */
  374. #endif
  375. }
  376.  
  377. /*---------------------------------------------------------------------------*/
  378.  
  379. void
  380. alarmhandler(sig, code, scp, addr)
  381. long sig, code;
  382. struct sigcontext *scp;
  383. char *addr;
  384. {
  385.   waislog(WLOG_HIGH, WLOG_CLOSE,
  386.       "Server idle longer %s. Closing server and exiting.", IDLE_TIME);
  387.   if(0 != finished_search_engine())
  388.     panic("unable to close search engine");
  389.   exit(0);
  390. }
  391.  
  392. /*---------------------------------------------------------------------------*/
  393.  
  394. void
  395. seghandler(sig, code, scp, addr)
  396. long sig, code;
  397. struct sigcontext *scp;
  398. char *addr;
  399. {
  400.   waislog(WLOG_HIGH, WLOG_ERROR, "Segmentation violation.");
  401.   waislog(WLOG_HIGH, WLOG_CLOSE, "Bummer. Closing server and exiting.");
  402. #ifdef DUMPCORE
  403.     abort();
  404. #else
  405.   exit(-1);
  406. #endif
  407. }
  408.  
  409. /*---------------------------------------------------------------------------*/
  410.  
  411. void
  412. bushandler(sig, code, scp, addr)
  413. long sig, code;
  414. struct sigcontext *scp;
  415. char *addr;
  416. {
  417.   waislog(WLOG_HIGH, WLOG_ERROR, "Bus error.");
  418.   waislog(WLOG_HIGH, WLOG_CLOSE, "Bummer. Closing server and exiting.");
  419. #ifdef DUMPCORE
  420.     abort();
  421. #else
  422.   exit(-1);
  423. #endif
  424. }
  425.  
  426. /*---------------------------------------------------------------------------*/
  427.  
  428. #ifndef WIN32
  429. #include <pwd.h>
  430.  
  431. int finduid(name)
  432. char *name;
  433. {
  434.   struct passwd *pwent;
  435.  
  436.   if ((pwent = getpwnam(name)) == NULL) {
  437.     return -1;
  438.   }
  439.  
  440.   return(pwent->pw_uid);
  441. }
  442. #endif
  443.  
  444. static  char *index_dir = NULL;
  445. static  time_t info_change_time;
  446. static  int indexing_needed = 0;
  447. static  char *info_dict = INFO_DICT;
  448.  
  449. extern int alphasort();
  450.  
  451. /* selecttion function for scandir()
  452.  * trigger on ".src" extension, regular file, and != "INFO.src"
  453.  * Indexing is needed if any of the .src files is younger than 
  454.  * INFO.dct
  455.  */
  456. static int
  457. srcfiles(e)
  458.     struct dirent *e;
  459. {
  460. #ifndef WIN32
  461.     struct stat sb;
  462.     char *lastdot = strrchr(e->d_name,'.');
  463.     int candidate;
  464.  
  465.     candidate = lastdot && 
  466.           (stat(merge_pathnames(e->d_name,index_dir), &sb) >= 0) && 
  467.           ((sb.st_mode & S_IFMT) == S_IFREG) &&
  468.           !strcmp(lastdot,source_ext) && 
  469.           strcmp(e->d_name,info_dict); /* whew */
  470.  
  471.         if (candidate) {
  472.         indexing_needed |= (sb.st_mtime > info_change_time);
  473.         return 1;
  474.     }
  475. #endif
  476.     return 0;
  477. }
  478.  
  479.  
  480. /*---------------------------------------------------------------------------*/
  481.  
  482. #ifdef SET_LIMIT
  483. #include <sys/resource.h>
  484. #endif
  485.  
  486. #ifndef WIN32
  487. #define INDEX_FORK
  488.  
  489. extern char *inet_ntoa ();
  490. #endif
  491. extern char *syslog_name;
  492.  
  493. void
  494. main(argc,argv)
  495. int argc;
  496. char* argv[];
  497. { 
  498. #ifndef WIN32
  499.   FILE *file;
  500. #endif
  501. #ifdef DEBUG
  502.   int i;
  503. #endif
  504.   char *next_argument = next_arg(&argc, &argv), *command_name;
  505.   boolean use_stdio = TRUE;     /* default is true */
  506.   /* char *log_file_name = NULL; */ /* name of file for error output */
  507.   char *uid_name = "root";  /* user id so setuid if root */
  508.   int uid = 0;      /* if not specified, leave as root. */
  509. #ifndef WIN32
  510.   long socket;
  511.   int child_proc;       /* for the child process id */
  512.   int child;
  513. #endif
  514.   long cm_mem_percent = 0;  /* default */
  515.   struct stat statbuf;
  516. #ifndef WIN32
  517.   struct dirent **list;
  518. #endif
  519.   int naptime = 0;
  520.   extern int errno;
  521.   extern char *sys_errlist[];
  522.   extern void filename_finish_header_function();
  523.   dataopsrec    dataops;  
  524.   
  525. #ifdef SET_LIMIT
  526.   struct rlimit rlp;
  527.  
  528.   getrlimit(RLIMIT_CORE, &rlp);
  529.   rlp.rlim_cur = rlp.rlim_max;
  530.   setrlimit(RLIMIT_CORE, &rlp);
  531.   getrlimit(RLIMIT_DATA, &rlp);
  532.   rlp.rlim_cur = rlp.rlim_max;
  533.   setrlimit(RLIMIT_DATA, &rlp);
  534. #endif
  535.  
  536. #ifdef WIN32
  537.   /* Turn stdout buffering off */
  538.   setvbuf(stdout,NULL,_IONBF,0);
  539.   /* We need binary mode for standard input and output -- no translation CR-LF*/
  540.   _setmode(_fileno(stdin), _O_BINARY);
  541.   _setmode(_fileno(stdout), _O_BINARY);
  542. #endif /*WIN32 */
  543.  
  544. /* dgg -- must duplicate mods to waisindex.c, here is mini-build of INFO.src */
  545.   dataops.separator_function= NULL;
  546.   dataops.header_function= NULL;
  547.   dataops.date_function= NULL;
  548.   dataops.finish_header_function= filename_finish_header_function;
  549.   dataops.type= "WSRC";
  550.   dataops.wordDelimiter= wordbreak_notalnum;
  551.   dataops.addseparatorwords= false;
  552.   dataops.extraheaderweight= true;
  553.   dataops.repeat_weight= 1;
  554.   dataops.minwordlen= 2;
  555.   stop_list_file("\0");
  556.   gDelimiters[0]= '\0';  
  557.   wordDelimiter= wordbreak_notalnum;   
  558. /* dgg -- end new inits */                       
  559.  
  560. #ifdef DEBUG
  561.   /*DebugBreak();/**/
  562.   debug_log = fopen("waisserv.log", "a");
  563.   fprintf(debug_log, "WAISSERV has been called with following arguments argc = %d:\n", argc);
  564.   for (i = 0; i < argc; i++)
  565.     fprintf(debug_log, "argv[%d] = %s\n", i, argv[i]);
  566. #endif  
  567.   tcp_port = 210;           /* tcp_port to use */
  568.   command_name = next_argument;
  569. #ifdef WIN32
  570.   syslog_name = (syslog_name = (char *)strrchr(command_name, '\\')) ? (syslog_name + 1) : command_name;
  571. #else
  572.   syslog_name = (syslog_name = (char *)rindex(command_name, '/')) ? (syslog_name + 1) : command_name;
  573. #endif
  574.   host_name[0] = 0;
  575.   host_address[0] = 0;
  576.  
  577.   server_name = s_malloc(255);
  578.   mygethostname(server_name, 255);
  579.  
  580. #ifdef WIN32
  581.   wais_pid = 0;
  582. #else
  583.   wais_pid = getpid();
  584. #endif
  585.  
  586. #ifdef DEBUG
  587.   fprintf(debug_log, "command_name = %s\n", command_name);
  588. #endif      
  589.  
  590.   if (!strcmp(command_name, "waisserver.d")) {
  591.     struct sockaddr_in source;
  592.     int sourcelen;
  593.  
  594.     sourcelen = sizeof(struct sockaddr_in);
  595.  
  596. #ifdef WIN32
  597.     if (!getpeername(fileno(stdout),(struct sockaddr *)&source,&sourcelen)) {
  598. #else
  599.     if (!getpeername(fileno(stdout),
  600.                      (void *)&source,&sourcelen)) {
  601. #endif
  602.       struct hostent *peer = NULL;
  603.  
  604. #ifdef WIN32
  605.       peer = gethostbyaddr((char *)&source.sin_addr.s_addr, 4, PF_INET);  /* is it right? */
  606. #else
  607. #ifdef __DGUX__
  608.       peer = gethostbyaddr((char *)&source.sin_addr.s_addr, 4, AF_INET);
  609. #else
  610.       peer = gethostbyaddr((void *)&source.sin_addr, 4, AF_INET);
  611. #endif
  612. #endif
  613.       if(peer != NULL) {
  614.     sprintf(host_name, "%s", peer->h_name);
  615.  
  616.     sprintf(host_address, "%s",
  617. #if defined(sparc) && defined(__GNUC__)
  618.         inet_ntoa(&source.sin_addr)
  619. #else
  620.         inet_ntoa(source.sin_addr)
  621. #endif              /* sparc */
  622.         );
  623.     }
  624.     }
  625.     else sprintf(host_address, "Error getting socket: %d, %s.", errno, sys_errlist[errno]);
  626.  
  627.    use_stdio = TRUE;
  628.   }
  629.  
  630.   if (argc == 0){
  631. #ifdef DEBUG
  632.       fprintf(debug_log, "argc = 0\n");
  633. #endif      
  634.  
  635. #ifdef WIN32
  636.     fprintf(stderr,"Usage: %s [-s] [-d directory] [-v] [-e file] [-l level]\n",command_name);
  637. #else
  638.     fprintf(stderr,"Usage: %s [-p [port_number]] [-s] [-d directory] [-u user] [-cmmem number] [-v]\n",
  639.        command_name);
  640.     fprintf(stderr," -p [port] listen to the port.  If the port is supplied, then\n");
  641.     fprintf(stderr,"    that tcp_port number is used.  If it is not supplied \n");
  642.     fprintf(stderr,"    then the Z39.50 port (210) is used.\n");
  643. #endif
  644.     fprintf(stderr," -d directory: means to use the directory as the source of databases.\n");
  645.     fprintf(stderr,"    Defaults to the current directory.\n");
  646. #ifdef WIN32
  647.     fprintf(stderr," -e [file]: set log output to file, or NUL: if not specified.\n");
  648. #else
  649.     fprintf(stderr," -e [file]: set log output to file, or /dev/null if not specified.\n");
  650. #endif
  651.     fprintf(stderr," -l log_level: set log level.  0 means log nothing,\n");
  652.     fprintf(stderr,"    10 [the default] means log everything.\n");
  653.     fprintf(stderr," -s means listen to standard I/O for queries.  This is the default\n");
  654. #ifndef WIN32
  655.     fprintf(stderr," -u user: if started as root, setuid to user after startup.\n");
  656.     fprintf(stderr," -cmmem number: percentage of CM memory to use (CM code only).\n");
  657. #endif
  658.     fprintf(stderr," -v prints the version.\n");
  659.     exit(1);
  660.   }
  661.   if(NULL == (next_argument = next_arg(&argc, &argv))){
  662.     fprintf(stderr,"No arguments specified\n");
  663.     exit(0);
  664.   }
  665.   while((next_argument != NULL) &&
  666.     ('-' == next_argument[0])){
  667.  
  668.     /* then we have an argument to process */
  669.     if (0 == strcmp("-p", next_argument)){
  670.       char *peek_argument = peek_arg(&argc, &argv);
  671.       use_stdio = FALSE;
  672.       if ((NULL != peek_argument) && /* if we are not out of args */
  673.       ('-' != peek_argument[0])){ { /* and the next isn't an option... */
  674.         /* get the port number */
  675.         tcp_port = atoi(next_arg(&argc, &argv));
  676.       }         /* end if (explicit tcp_port) */
  677.                     }
  678.     }               /* end if (-p) */
  679.     else if (0 == strcmp("-s", next_argument)){
  680.       use_stdio = TRUE;
  681.     }               /* end if (-s) */
  682.  
  683.     else if (0 == strcmp("-e", next_argument)) {
  684.       char *peek_argument = peek_arg(&argc, &argv);
  685. #ifdef WIN32
  686.       log_file_name = "NUL:"; /* default to NUL: */
  687. #else
  688.       log_file_name = "/dev/null"; /* default to /dev/null */
  689. #endif
  690.       if ((peek_argument != NULL) &&
  691.       ('-' != peek_argument[0])) {
  692.     log_file_name = next_arg(&argc, &argv);
  693.       }             /* end if (explicit log file) */
  694.     }               /* end if (-e) */
  695.     else if (0 == strcmp("-l", next_argument)) {
  696.       wais_log_level = atol(next_arg(&argc, &argv));
  697.     }               /* end if (-l) */
  698.     else if (0 == strcmp("-d", next_argument)) {
  699.       index_dir = next_arg(&argc, &argv);
  700.     }
  701.     else if (0 == strcmp("-v", next_argument)) {
  702.       fprintf(stderr,"%s: %s, %s\n", command_name, VERSION, SERVER_DATE);
  703. #ifdef WIN32
  704.       fprintf(stderr,"%s\n",VERWIN32);
  705.       if (argc == 2)
  706.         exit(0);
  707. #endif 
  708.     }
  709. #ifndef WIN32
  710.     else if (0 == strcmp("-u", next_argument)) {
  711.       uid_name = next_arg(&argc, &argv);
  712.       if((uid = finduid(uid_name)) < 0)
  713.     panic("Couldn't find user %s.", uid_name);
  714.     }
  715.     else if(0 == strcmp("-cmmem", next_argument)){
  716.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  717.     panic("Expected a number (1-100) for percentage of memory to use");
  718.       cm_mem_percent = atol(next_argument);
  719.       if(cm_mem_percent < 1)
  720.     panic("The -cmmem argument should not be less than 1 and less than 100");
  721.       if(cm_mem_percent > 100)
  722.     panic("Warning: The -cmmem parameter was %ld%%. It should be between 1-100.", cm_mem_percent);
  723.     }
  724. #endif
  725.     else{
  726.       panic("Don't recognize the %s option", next_argument);
  727.     }
  728.     next_argument = next_arg(&argc, &argv);
  729.   }             /* end while (more arguments) */
  730.  
  731.   if (use_stdio && log_file_name == NULL) 
  732. #ifdef WIN32
  733.     log_file_name = "NUL:";
  734. #else
  735.     log_file_name = "/dev/null";
  736. #endif
  737.   if (log_file_name == NULL) 
  738.     logfile = stderr;
  739.   else logfile = NULL;
  740.   
  741.   index_dir = index_dir ? index_dir : ".";  
  742.   info_dict = s_strdup(merge_pathnames(info_dict,index_dir));
  743.  
  744.   if(0 != init_search_engine(index_dir, false, true, cm_mem_percent,0,0))
  745.     panic("unable to initialize search engine");
  746.   
  747.   /* remember timestamp on INFO.dct if rebuilding needed 
  748.    * If it doesnt exist, it's assumed to be *very* old, to force
  749.    * re-indexing
  750.    */
  751.   info_change_time = (stat(info_dict,&statbuf) == -1) ? 0 : statbuf.st_mtime;
  752. #ifdef WIN32
  753.   /* this will replace from scandir to freedir */
  754. #ifdef NOT_NOW
  755.   /* We are not yet supporting dynamically indexing.
  756.    * It could be done by WAISINDEX tool manually.
  757.    */
  758.   if (info_change_time == 0) indexing_needed = TRUE;
  759.   if (FALSE) {
  760.  
  761.     /* Time to re-index,
  762.      * aquire the lock 
  763.      */
  764.     waislog(WLOG_MEDIUM, WLOG_INDEX,
  765.         "re-indexing needed, info_change_time=%d",info_change_time); 
  766.  
  767.     if (GetTempPath(sizeof(LOCKFILE), LOCKFILE) == 0) {
  768.       panic("Warning - couldn't get the system temporary path %s", LOCKFILE);
  769.     }
  770.     LOCKFILE[MAX_PATH] = 0;
  771.     strcat(LOCKFILE, "\\INFO.LCK");
  772.     LOCKFILE[MAX_PATH] = 0;
  773.     if (open(LOCKFILE, _O_WRONLY|_O_CREAT|_O_EXCL,0666) == -1) {
  774.       
  775.       /* already locked by somebody else
  776.        * spin  till she finishes
  777.        */
  778.       while (!(stat(LOCKFILE,&statbuf) == -1)) {
  779.         Sleep(NAPTIME);     /* NAPTIME is 1000 millisecs, ie, 1 sec */
  780.         naptime ++;         /* in seconds */
  781.         waislog(WLOG_MEDIUM, WLOG_INFO,
  782.             "INFO locked, waiting since %d seconds", naptime);
  783.         if (naptime  > MAXNAPTIME)  {
  784.           waislog(WLOG_HIGH, WLOG_WARNING,
  785.               "Warning - lockfile %s won't go away after %d seconds, not reindexing.", 
  786.               LOCKFILE, naptime);
  787.           break;
  788.         }
  789.       }
  790.       /* if lockfile went away, assume INFO.* build finished
  791.        * so just use it
  792.        */
  793.     } else {            /* we aquired the lock, so rebuild database  */
  794.       HANDLE hSearch;
  795.       WIN32_FIND_DATA FindData;
  796.       char Name[MAX_PATH+1];
  797.       
  798.       strncpy(Name,index_dir,MAX_PATH);
  799.       Name[MAX_PATH] = '\0';
  800.       strncat(Name,"\\*.*",MAX_PATH);
  801.       Name[MAX_PATH] = '\0';
  802.       hSearch = FindFirstFile(Name,&FindData);
  803.       if (hSearch!=INVALID_HANDLE_VALUE) {
  804.         struct stat st;
  805.         char *lastdot;
  806.         int candidate;
  807.         database *db;
  808.         char *dbname;
  809.         
  810.         dbname = s_strdup(merge_pathnames("INFO", index_dir));
  811.         db = openDatabase(dbname, true, /* maybe this should append XXX */
  812.                 false);
  813.         s_free(dbname);
  814.         init_add_word(db, 0, 100000L);
  815.         
  816.         strncpy(Name, index_dir, MAX_PATH);
  817.         Name[MAX_PATH] = '\0';
  818.         if (index_dir[strlen(index_dir)-1] != '\\')
  819.           strncat(Name, "\\", MAX_PATH);
  820.         dbname = strrchr(Name, '\\');
  821.         Name[MAX_PATH] = '\0';  
  822.         if (!dbname)
  823.           panic("No path separator \\");
  824.         
  825.         while (TRUE) {
  826.           lastdot = strrchr(FindData.cFileName, '.');
  827.           candidate = lastdot && 
  828.               (stat(merge_pathnames(FindData.cFileName,index_dir), &st) >= 0) && 
  829.               ((st.st_mode & S_IFMT) == S_IFREG) &&
  830.               !strcmp(lastdot,source_ext) && 
  831.               strcmp(FindData.cFileName,info_dict); /* whew */
  832.  
  833.           if ((candidate) && (st.st_mtime > info_change_time)) {
  834.             /* do need indexing */
  835.             strncat(dbname, FindData.cFileName, MAX_PATH);
  836.             waislog(WLOG_MEDIUM, WLOG_INDEX, "Indexing %s",dbname);
  837.             index_text_file(dbname, &dataops, db, true, false, false, true);
  838.           }
  839.           
  840.           if (!FindNextFile(hSearch,&FindData)) break;
  841.         }
  842.         FindClose(hSearch);
  843.         if(!probe_file(source_filename(Name, db)))
  844.           write_src_structure(source_filename(Name, db),
  845.                   "INFO", "WSRC", NULL, 0L, true, tcp_port);
  846.         finished_add_word(db);
  847.         build_catalog(db);
  848.         closeDatabase(db);
  849.         if (unlink(LOCKFILE))
  850.           panic("Indexer: cant unlink lockfile!\n");
  851.         waislog(WLOG_MEDIUM, WLOG_INDEX, "Indexer done");
  852.       }
  853.     }
  854.   }
  855. #endif /* if NOT_NOW */
  856.  
  857. #else /* WIN32 */
  858.   /* compare with candidates */
  859.  
  860.   if (scandir(index_dir, &list, srcfiles, alphasort) < 0) {
  861.       waislog(WLOG_HIGH, WLOG_ERROR, 
  862.           "Error: reading directory %s, %s", 
  863.           index_dir, sys_errlist[errno]);
  864.       indexing_needed = FALSE;
  865.   }
  866.   
  867.   /* ok. we know if we need indexing, 
  868.    * and have all the filenames. 
  869.    */
  870.   
  871.   if (info_change_time == 0) indexing_needed = TRUE;
  872.   if (indexing_needed) {
  873.  
  874.     /* Time to re-index,
  875.      * aquire the lock 
  876.      */
  877.     waislog(WLOG_MEDIUM, WLOG_INDEX,
  878.         "re-indexing needed, info_change_time=%d",info_change_time); 
  879.  
  880.     if (open(LOCKFILE, O_WRONLY|O_CREAT|O_EXCL,0666) == -1) {
  881.       
  882.       /* already locked by somebody else
  883.        * spin  till she finishes
  884.        */
  885.       while (!(stat(LOCKFILE,&statbuf) == -1)) {
  886.     sleep(NAPTIME);
  887.     naptime += NAPTIME;
  888.     waislog(WLOG_MEDIUM, WLOG_INFO,
  889.         "INFO locked, waiting since %d seconds", naptime);
  890.     if (naptime  > MAXNAPTIME)  {
  891.  
  892.       waislog(WLOG_HIGH, WLOG_WARNING,
  893.           "Warning - lockfile %s won't go away after %d seconds, not reindexing.", 
  894.           LOCKFILE, naptime);
  895.       break;
  896.     }
  897.       }
  898.       /* if lockfile went away, assume INFO.* build finished
  899.        * so just use it
  900.        */
  901.     } else {            /* we aquired the lock, so rebuild database  */
  902.       
  903. #ifdef INDEX_FORK
  904.       if (!(child = fork())) {
  905. #endif
  906.     database *db;
  907.     struct dirent **s = list;
  908.     char filename[MAX_FILENAME_LEN], *dbname;
  909.  
  910.     waislog(WLOG_MEDIUM, WLOG_INDEX,
  911.         "Creating INFO database, pid=%d",getpid());
  912.     dbname = s_strdup(merge_pathnames("INFO",   index_dir));
  913.     db = openDatabase(dbname, true, /* maybe this should append XXX */
  914.               false);
  915.     s_free(dbname);
  916.     init_add_word(db, 0, 100000L);
  917.  
  918.     while (*s) {        /* index it */
  919.       strncpy(filename, index_dir, MAX_FILENAME_LEN);
  920.       if(index_dir[strlen(index_dir) -1] != '/')
  921.         strncat(filename, "/", MAX_FILENAME_LEN);
  922.       strncat(filename, (*s)->d_name, MAX_FILENAME_LEN);
  923.       waislog(WLOG_MEDIUM, WLOG_INDEX,
  924.           "Indexing %s", filename);
  925.       index_text_file(filename, &dataops, db, true, false,
  926.                           false, true, NULL, NULL);
  927.           s++;
  928.         }
  929.         freedir(list);          /* array of filenames */
  930.               
  931.         if(!probe_file(source_filename(filename, db)))
  932.           write_src_structure(source_filename(filename, db),
  933.                               "INFO", "WSRC", NULL, 0L, true, tcp_port);
  934.         finished_add_word(db);
  935.         build_catalog(db);
  936.         closeDatabase(db);
  937.         if (unlink(LOCKFILE))
  938.           panic("Indexer: cant unlink lockfile!\n");
  939.         waislog(WLOG_MEDIUM, WLOG_INDEX,
  940.                 "Indexer pid=%d done", getpid());
  941.               
  942. #ifdef INDEX_FORK
  943.     exit(0);        /* indexing child */
  944.       }
  945.       else if (child == -1) {
  946.     waislog(WLOG_HIGH, WLOG_ERROR,
  947.         "Unable to fork for indexer.");
  948.     exit(1);
  949.       }
  950.       /* wait for child process */
  951.       else while (wait(0) != child) ; /* do nothing */
  952. #endif 
  953.      
  954.     }
  955.   }
  956. #endif /* WIN32 */
  957.  
  958.  
  959.   if (use_stdio == TRUE) {
  960.     if(host_address[0] != 0){
  961.       waislog(WLOG_MEDIUM, WLOG_CONNECT,
  962.           "Accepted connection from: %s [%s], %s",
  963.           host_name, host_address, VERSION);
  964.     }
  965.     else{
  966.       waislog(WLOG_MEDIUM, WLOG_CONNECT,
  967.           "Couldn't determine peer connection. %s", VERSION);
  968.     }
  969.  
  970.     if ( server_security(index_dir,NULL) != true ){
  971.       waislog(WLOG_HIGH, WLOG_INFO,"Closing down server");
  972.       exit(-1);
  973.      }
  974.  
  975.   }
  976.   else{
  977.     waislog(WLOG_MEDIUM, WLOG_INFO, "Running server %s", VERSION);
  978.   }
  979.  
  980. #ifndef WIN32
  981.   signal(SIGINT, (void *)breakKey);
  982.  
  983.   signal(SIGCHLD, childhandler);    /* XXX dont really need this any more */
  984.   signal(SIGALRM, alarmhandler);
  985.  
  986.   signal(SIGSEGV, seghandler);
  987.  
  988.   signal(SIGBUS, bushandler);
  989.  
  990.  
  991.   if(use_stdio == FALSE)
  992.    { 
  993.      if (tcp_port < 1024 && getuid() != 0) {
  994.        waislog(WLOG_HIGH, WLOG_ERROR,
  995.            "Error opening port %d:  Must be superuser to use a port < 1024",
  996.            tcp_port);
  997.        exit(-1);
  998.      }
  999.  
  1000.      open_server(tcp_port,&socket,BUFSZ);
  1001.  
  1002. #ifdef SECURE_SERVER
  1003.      /* if root, setuid to user specified id. */
  1004.      if (uid > 0 && getuid() == 0)  {
  1005.        waislog(WLOG_MEDIUM, WLOG_INFO,
  1006.            "Setting uid to %s.", uid_name);
  1007.         if (log_file_name && *log_file_name &&
  1008.        chown(log_file_name,uid,getgid()) < 0)
  1009.      waislog(WLOG_HIGH, WLOG_ERROR,
  1010.          "Unable to chown log file to %s!", uid_name);
  1011.        if ( 0 > setuid(uid)) {
  1012.      waislog(WLOG_HIGH, WLOG_ERROR,
  1013.          "Unable to setuid to %s!  Exiting.", uid_name);
  1014.      exit(-1);
  1015.        }
  1016.      }
  1017. #endif
  1018.      while (TRUE) { /* be a server for several connections */
  1019.        accept_client_connection(socket,&file);
  1020.       
  1021.        if ((child_proc = fork()) == 0) {
  1022.           
  1023.           /* grandson handles this connection
  1024.            * double-fork takes care of zombies 
  1025.            */
  1026.           if ((child_proc = fork()) == 0) { 
  1027.         wais_pid = getpid();
  1028.         log_line = 0;
  1029.         serve_client(file, file, index_dir);
  1030.         /* but leaves server up */
  1031.         close_client_connection(file);
  1032.         close_server(socket);
  1033.         /* just exits this child */
  1034.         waislog(WLOG_MEDIUM, WLOG_CLOSE,
  1035.             "Done handling client");
  1036.         exit(0);
  1037.           } else {
  1038.         /* son: orphans the grandchild, so init picks up 
  1039.          * the exit status
  1040.          */
  1041.         exit(0);
  1042.           }
  1043.           } else {
  1044.           waislog(WLOG_MEDIUM, WLOG_INFO,
  1045.               "Child PID = %d", child_proc);
  1046.           close_client_connection(file);     /* parent shouldn't keep the file */
  1047.       }
  1048.       }
  1049.    }
  1050.   else if(use_stdio == TRUE)
  1051. #else
  1052.   if(use_stdio == TRUE)
  1053. #endif /* !WIN32 */
  1054.    { /* connections on stdio don't use child processes yet */
  1055.      serve_client(stdin, stdout, index_dir);
  1056.      waislog(WLOG_MEDIUM, WLOG_CLOSE,
  1057.          "Done handling client");
  1058.       /* close the whole thing */
  1059.      if(0 != finished_search_engine())
  1060.        panic("unable to close search engine");
  1061.      exit(0);
  1062.    }
  1063. }
  1064.  
  1065. /*---------------------------------------------------------------------------*/
  1066.  
  1067.